An Empirical Study of VLM Pipelines for Long-Document QA
VLM 长文档问答流水线的实证研究
🧭 长文档 VLM QA 流水线实证
Amazon
图像检索 top-k 页面输入是 token 效率与准确率均衡选择，Agent 收益随 VLM 规模增大才显现
📌 工作参考价值（4 点）
- 在商品详情、说明书、财报等多模态长文档处理中，优先尝试图像 embedding 检索 top-k 页面/区块而不是全量文本入库，token 可降到全页输入的 1/7 到 1/4，且准确率不降反升。
- Agent 工具调用（page/table/figure/search）不是小模型的免费午餐：Qwen3.5-4B/9B 上落后静态页面输入，27B 才持平，Sonnet 4.5 才领先。实际选型时先评估静态管道，再决定是否把预算花在 agentic 流程上。
- 文本检索侧一个现成 cross-encoder rerank 就能匹配很重的多阶段 LLM 管道，工程上可用轻量 reranker 替代 LLM 重排，节省成本和延迟。
- 最强流水线之间互补，oracle 路由能提升约13点，但证据类型路由几乎无效；说明自动路由很难，可先通过人工分析问题类型或构建更强路由特征，不要盲目上路由模型。